卷积神经网络(CNNS)在许多计算机视觉任务中非常成功。然而,嵌入式和实时系统的推理成本很高,因此有很多关于压缩网络的研究。另一方面,自我关注模型的最新进步表明,卷积滤波器优选在较早层中的自我关注,这表明在较早的层中较强的电感偏差更好。如卷积滤波器所示,强大的偏置可以培训特定的滤波器并将不必要的过滤器构建为零。这类似于经典图像处理任务,其中选择合适的滤波器使得紧凑的字典表示特征。我们遵循这个想法,并将Gabor过滤器合并在较早的CNN层中进行压缩。通过BackProjagation学习Gabor滤波器的参数,因此该功能仅限于Gabor过滤器。我们表明,对于CIFAR-10的第一层VGG-16具有192个内核/功能,但学习Gabor过滤器需要平均29.4内核。此外,在改变的Reset-20上,使用Gabor滤波器,分别在第一和第二层中的平均83%和94%的内核,其中前五层与两层较大的核交换CiFar-10。
translated by 谷歌翻译